#Diffusion Language Model

4 篇

DPE-Rec: Diversity-Preserving and Efficient Diffusion Language Model Recommendation for Bundle Construction

DPE-Rec：面向 Bundle 构造的多样性保持与高效扩散推荐

🧭 生成式推荐 · Diffusion Semantic ID ★ 深度解读

Arizona State University · Stevens Institute of Technology

针对扩散语言模型在 bundle 构造中的多样性损失与并行解码质量退化，提出语义分叉感知 GRPO 与伪轨迹蒸馏，实现质量提升 63%、推理加速 25.6 倍

📌 工作参考价值（4 点）

在语义 ID 生成中，第一层 token 是粗粒度语义分叉，后续 token 是细粒度 refinement；可在后训练或采样时对第一层 token 设置更高温度（如 0.6）以增加多样性，后续层设置低温度（如 0.2）保证准确率。这种 level-specific temperature 可直接迁移到电商类目/品牌/商品 ID 生成。
如需对 diffusion 模型做多样性优化，可借鉴其「autoregressive rollout + GRPO」后训练方式：仅通过推理顺序构造 AR 策略，不改动双向注意力架构，训练后仍保留并行解码能力。这比直接换因果模型成本低、兼容性好。
推理加速上，伪轨迹蒸馏十分实用：用高质量顺序解码生成若干轨迹，只在这些轨迹诱导的中间状态上训练 student，使 student 能可靠地一次性并行 decode 多个 token，降低 denoise 步数。该方法可复用到生成式推荐、query 生成等 DLM 场景，几乎不损失质量但大幅降延迟。
对生成的 SID 做 legalization（映射回 catalog，非法 SID 用语义向量相似度匹配最近 item）是保证线上可用性的必要后处理，尤其在并行解码打开多 token 时，能有效避免生成不存在的商品 ID。

GenRec | 2026-10-26 | cs.IR | score 8/10

Diffusion Language Model for Recommendation

面向推荐的离散扩散语言模型

🧭 生成式推荐 · 离散扩散语言模型 ★ 深度解读

The Hong Kong Polytechnic University · Tencent Inc.

提出离散扩散替代自回归生成，通过迭代去噪和协同感知 token 化实现更优推荐

📌 工作参考价值（4 点）

推荐生成范式转换：在需要生成商品集合或预测下一个交互对象的场景中，考虑用离散扩散替代自回归。扩散的迭代去噪可纠正早期错误，且双向建模更能捕捉 item 间的全局依赖，尤其适用于行为顺序含有噪声的电商推荐。
协同感知 tokenization 设计：借鉴 CAST 的多跳随机量化思路，用 GNN 提取用户/商品的协同信号，通过温度调控的多码本随机映射生成离散 token，可保留协同相似性，与 LLM 集成时比单纯 ID 或文本摘要更有效。
课程式微调策略：在 LLM 推荐微调中，可先采用 item 级掩蔽对齐（同时掩蔽 token 和文本描述）来建立离散 token 与语义的对应，再过渡到 token 级掩蔽并引入偏好对比损失，逐步从语义理解迁移到推荐任务。
投票式推理稳定化：在扩散推理阶段，不丢弃中间预测，而是累积各步 log-prob 进行投票，对稳定位置早停，在不确定性高的位置融合更多信息，可提升推荐生成的鲁棒性和一致性，也可用于 interpretable 推荐或多轮交互式推荐。

GenRec | 2026-07-23 | cs.IR | score 10/10

Diffusion Language Model Discrete Diffusion Generative Recommendation Iterative Refinement Stochastic Tokenizer Curriculum Learning

Improved Large Language Diffusion Models

改进的大语言扩散模型

🧭 大语言模型扩散训练与推理优化

Renmin University of China · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE · ByteDance Seed

8B 全双向掩码扩散语言模型从零预训练 12T tokens，大幅超越 LLaDA 并与自回归模型竞争

📌 工作参考价值（4 点）

生成式推荐场景可尝试用扩散模型替代自回归生成，尤其适合需要高吞吐、非自回归解码的物品标题、描述或语义 ID 生成。
全双向注意力在用户序列建模、查询改写等需要全局上下文的推荐任务中可能提升效果。
掩码扩散训练与变长生成技术可应用于对话式推荐响应生成，平衡效率与多样性。
置信度评分为推荐候选集排序提供新思路，如计算 item 置信度辅助精排。

LLM | 2026-06-23 | HF Daily | score 7/10

Diffusion Language Model Masked Diffusion Bidirectional Attention Pretraining Instruction Tuning Variable-length Generation

Sumi: Open Uniform Diffusion Language Model from Scratch

Sumi：从头预训练的开源7B均匀扩散语言模型

🧭 均匀扩散语言模型预训练

Tohoku University

首个从头预训练的大规模均匀扩散语言模型，在知识、推理、编码上与同规模自回归模型竞争，常识略弱

📌 工作参考价值（4 点）

扩散生成允许任意位置并行更新，可用于搜索/推荐中的 query 改写、item 描述生成，利用温度调控多样性；微调时可将扩散步数作为可控 knob，平衡质量与延迟。
在 Agent 场景中，均匀扩散的迭代修订特性适合生成多步推理或计划，支持中途修正输出，相比自回归更灵活。
教育数据偏重导致常识弱，启示我们在推荐领域微调时需注入大量领域交易日志、用户评论等语料，避免常识缺失影响自然度。
开源训练配方和完整数据混合说明，可直接复现或调整配比，构建面向电商/广告的垂直 LLM 基座。

LLM | 2026-06-16 | HF Daily | score 6/10

Diffusion Language Model UDLM Pretraining 7B Open Source